The Router Within: Eliciting Native Skill Routing from a Frozen LLM
冻结 LLM 内部的技能路由器:用两个线性投影读出原生路由信号
🧭 Agent 技能路由 · LLM 原生信号读取 ★ 深度解读
Institute for Interdisciplinary Information Sciences, Tsinghua University
冻结 LLM 自身前向传播中已含技能路由信号,两个线性投影即可读出,无需外部模型或技能文本入上下文
📌 工作参考价值(4 点)
- 用 frozen LLM 自身中间层做相关性/召回评分,可避开独立 embedder/reranker 的 OOD 偏移;在电商 query 改写、商品/内容召回中,可训练两个轻量线性层从骨干 LLM 读 query 与 item 的匹配信号,尤其适合长上下文里埋没的需求。
- token-level late-interaction + top-k voting + recency decay 可迁移到个性化检索:不做全局池化,让关键 token 投票,对长会话轨迹用指数衰减增强最近消息权重。
- ε-cover 压缩 token bank 对海量 item/skill 索引有实用价值:farthest-first 覆盖去冗余,分数误差有界,可显著减小索引规模,新对象只需一次前向编码。
- 多信号 product of experts 融合(对比学习分数 + 生成似然 + yes/no 判别)可借鉴到排序融合,任一专家可一票否决,提升排序鲁棒性;再训练轻量门控决定何时触发路由,降低误触发。